知识图谱调研

Freebase 是一个由元数据组成的大型合作知识库，内容主要来自其社区成员的贡献。它整合了许多网上的资源，包括部分私人wiki站点中的内容。Freebase 致力于打造一个允许全球所有人（和机器）快捷访问的资源库，由美国软件公司Metaweb开发并于2007年3月公开运营。2010年7月16日被Google收购， 2014年12月16日，Google宣布将在六个月后关闭 Freebase ，并将全部数据迁移至Wikidata。Freebase的整体设计很有意思，在知识图谱设计上很具代表性。

KEY：可以通过key来唯一确定一个实体，一个实体可以有多个key，每个key都属于一个namespace，比如： "/en/yao_ming"的namespace为"/en"、"/wikipedia/zh-cn_title/姚明" 的namespace为"/wikipedia/zh-cn_title"。对于平台基础模型的实体（Domain、Type、Property），Freebase会从Key中选一个值，作为该实体的ID。

通过类型及其配置的属性，可结构化一个Topic，如果Topic属于多个Type，则其结构为这些Type属性的集合。如果属性是基本类型则存储在该topic本身；若是CVT则作为另一个topic存储，通过边进行关联。如下图：橙色部分为模型，蓝色部分为Topic。

Freebase本身就是进行模型schema管理和数据管理的，于是为了足够的灵活性，Freebase平台本身所需的基础模型（Type、Domain、Property、Object）也通过freebase进行自举配置，放在"/type"这个域下，在freebase中只要是"/type"这个域下的都是用于定义平台自身模型的数据，见下图表示的是平台所有类型的分类。

整个Freebase数据存储是一张大图，每个点都使用type/object定义，边使用type/link定义，不管是模型还是Topic，其数据都作为点存储于图数据库中，通过边进行关联。

Freebase的后台数据库Graphd以点和点间关系（边）的图状结构来组织数据，通过二进制数据存储块（类似SQL中的BLOBs）来储存点和边，并以哈希表的方式存储组织数据，它在用户下载上传数据时的起到临时数据缓存器的作用，对数据进行检验处理后，再保存到Graphd中。

数据库中以数组的方式对点及其关系的元数据进行建模，以表格的形式进行存储，表格中的每条数据对应一个点边数组。点边数组一般由4个主要的数组成员组成，分别是源点、关系、目标点、源点值，于是点边表中就按这四个成员设定相应的四列。

Graphd的图是有向图，边的方向从源点指向目标点，但执行查询时，可向前或向后遍历所有边来获取结果。在属性定义时，可以将一个方向的属性定义为“主属性”（比如：父亲），反方向上定义为“逆属性”（比如：儿子），这两个属性成为互逆属性。

当用户输入问题时，数据库引擎会先分析出问题的主体和可能所处领域，在“源点”和主属性“关系”列中进行检索，然后将所匹配到的“目标点”列中的值反馈给用户；也会反向在“目标点”和逆属性“关系”列中进行检索，将结果中的“源点”列中的值反馈给用户。这种架构设计有效的保证了数据的查全率。

下图是目前已集成的部分知名数据集。

Freebase对用户读取数据是完全开放并免费的，但是用户需要添加编辑数据时，就需要访问控制模块。平台通过“/type/user”、“/type/usergroup”以及“/type/permission”这几个属性实现用户的访问权限控制，每个对象都有一个“权限”属性，指向“/type/permission”。这个权限属性指定了用户组/type/usergroup，不同用户组成员可以操作的对象就不同。用户可以自由更新freebase绝大部分的类型和实例，除/type下的平台基础模型外。

全称Metaweb query language，用于提供HTTP API来进行freebase的读写操作，其入参和反参都是json格式。mql查询需要对freebase内配置的模型有一定了解，有一定的专业性要求。下面会列举几个案例，详细可见freebase官网。

另外，Freebase官网提供N-Triple RDF格式的数据压缩包的下载，整个压缩包30G，解压后300G+，下载后，可以用压缩软件解压，也可以通过编程工具（比如Java的GzipInuputStream）边读取边解压。下面列举一个姚明案实例，格式为：MID（比如：m.01jzhl）、属性（比如：type.object.name）、值（比如：姚明 或 另一个实例的MID：m.01445t）。

Freebase主要是从维基抽取结构化数据并发布成RDF，是完全结构化的，但数据来源不局限维基，还导入了数量众多的专业数据集，并提供数据查询和录入机制。DBpedia与Freebase类似，但DBpedia存在数据结构化程度低、数据不一致、数据质量低、数据权威性和规范性不高、对Wikipedia数据的更新存在滞后性等问题。两者的数据在08年11月通过内置OWL属性owl:sameAs进行互联，使得双方数据集关联更密切。

曾有人评价：Freebase是2007年迄今互联网上最激动人心的东西。Freebase最强大的地方就在于，它里面的元数据是可变的，具有弹性，这里的元数据包含Freebase自身平台所需的基础模型的元数据。Freebase的目标是结构化描述地球上的所有信息，难点其实不在于收集信息，而在于怎么结构化描述信息，所以Freebase通过众包模式进行信息结构化配置，才有了如此灵活可变的设计方案。我们可以借鉴，但也需要根据具体的业务场景做适当的调整。

Freebase不管模型还是实例都存储在图数据库中，优势在于灵活，劣势在于增加了图的复杂度和理解成本，所以可以发现网上有很多关于Freebase DUMP数据结构的解读，确实绕。还有一种设计方案：模型通过关系型数据库存储，实例通过图数据库存储，因为模型本身的特性和使用方式更适合于使用关系型数据库，而实例需要网状遍历、多跳查询需要使用图数据库。

用户可以多角度来使用Freebase，它本身平台和数据都具备开放性，典型的应用有：

Freebase.com语义数据库浅析

语义数据库Freebase研究

Freebase研究及应用

赵军《知识图谱》

freebase官网